3장. 평가 방법론

출처: AI 엔지니어링 (Chip Huyen, 한국어판) 3장 — p153~199

파운데이션 모델이 강력해질수록 평가는 더 어렵고 더 중요해진다. 이 장은 챗봇 자살 사건·에어캐나다 손배 사건처럼 AI 출력 품질 통제 실패가 실제 피해로 이어진 사례에서 출발해, 언어 모델 내부 지표(교차 엔트로피·퍼플렉시티)부터 기능적 정확성·어휘적·의미적 유사도·AI 평가자·비교 평가까지 자동화 평가의 전 방법론을 체계적으로 다룬다.

학습 목표

이 장을 끝내면 다음을 할 수 있다.

• 파운데이션 모델 평가가 전통적 ML보다 어려운 네 가지 구조적 이유를 설명한다.
• 교차 엔트로피와 퍼플렉시티 간 수학적 관계를 설명하고, 사후 학습 모델에 퍼플렉시티 평가가 부적절한 이유를 구분한다.
• BPC·BPB의 정규화 목적과 계산 방법을 설명하고 모델 간 비교에 적용한다.
• 퍼플렉시티의 실무 활용 4가지(간접 성능 지표·데이터 오염 탐지·중복 제거·비정상 탐지)를 구체적으로 기술한다.
• 기능적 정확성(pass@k)과 어휘적·의미적 유사도의 강점·한계를 비교 분석한다.
• AI 평가자의 세 가지 사용 방식, 프롬프트 설계 요소, 자기 편향·위치 편향·장황성 편향 완화 방법을 제시한다.
• 특화 평가자(보상 모델·참조 기반 평가자·선호도 모델)의 역할과 쓰임새를 구분한다.
• 비교 평가의 확장성 병목·표준화 부재·절대 성능 한계를 분석하고, 한계에도 비교 평가가 갖는 미래 가치를 설명한다.

전체 흐름도

[ 목적: AI 출력 품질을 신뢰할 수 있게 평가한다 ]
      │
      ├─ 내부 지표 (언어 모델링 품질)
      │       ├─ 엔트로피 → 교차 엔트로피 H(P,Q) = H(P) + D_KL(P||Q)
      │       ├─ 퍼플렉시티  PPL = 2^H(P,Q)
      │       ├─ BPC = 교차 엔트로피 / 문자당 토큰 수
      │       ├─ BPB = BPC × 문자_비트 / 8
      │       └─ 한계: 사후 학습 모델(SFT·RLHF)에는 부적합
      │
      ├─ 외부 지표 — 정확한 평가
      │       ├─ 기능적 정확성  (pass@k — HumanEval·MBPP·텍스트-SQL)
      │       └─ 정확한 일치   (짧고 명확한 응답에만)
      │
      ├─ 외부 지표 — 유사도 평가
      │       ├─ 어휘적 유사도  (n-gram 겹침 — BLEU·ROUGE·METEOR·TER·CIDEr)
      │       └─ 의미적 유사도  (임베딩 코사인 — BERTScore·MoverScore)
      │               └─ 기반 임베딩: BERT·CLIP·Sentence Transformers·MTEB
      │
      ├─ AI 평가자 (LLM-as-judge)
      │       ├─ 3가지 방식: 독립 점수 / 참조 비교 / A-B 선택
      │       ├─ 특화 평가자: 보상 모델 / 참조 기반 평가자 / 선호도 모델
      │       ├─ 장점: 빠름, 참조 불필요, 사람과 높은 상관관계
      │       └─ 한계: 자기·위치·장황성 편향, 비일관성, 기준 비표준화
      │
      └─ 비교 평가
              ├─ Elo → Bradley-Terry → TrueSkill 순 도입
              ├─ 장점: 포화 없음, 조작 어려움, 초지능 모델 대비 유일한 방법
              └─ 한계: 확장성 병목(모델수^2), 전이성 불확실, 절대 성능 미제공

0. 사전 필수 용어

이 장은 수학 공식보다 해석과 활용에 집중한다. 언어 모델 지표 절은 어렵다면 건너뛰고 3.3절부터 읽어도 이후 장을 이해하는 데 지장이 없다.

• 교차 엔트로피(Cross Entropy) — 언어 모델이 데이터셋의 다음 토큰을 얼마나 예측하기 어려워하는지 측정하는 지표. H(P, Q) = H(P) + D_KL(P||Q). 낮을수록 모델이 데이터 분포를 잘 학습한 것이다.
• 퍼플렉시티(Perplexity, PPL) — 교차 엔트로피의 지수 함수(PPL = 2^H). 다음 토큰 예측 시 불확실성의 크기를 나타낸다. 퍼플렉시티가 4라면 4개의 선택지 중에서 고르는 수준이다.
• BPC(문자당 비트) — 교차 엔트로피를 문자 단위로 정규화한 지표. 토큰 비트 / 문자당 토큰 수.
• BPB(바이트당 비트) — 원본 학습 데이터 1바이트를 표현하는 데 필요한 비트 수. 문자 인코딩 방식에 무관하게 모델을 비교할 수 있는 더 표준화된 지표.
• 기능적 정확성(Functional Correctness) — 시스템이 의도한 기능을 실제로 수행하는지 평가하는 방식. 코드 생성에서는 단위 테스트 통과 여부가 대표 사례다.
• 어휘적 유사도(Lexical Similarity) — 두 텍스트가 공통으로 가진 단어·n-gram의 겹침을 기준으로 측정하는 유사도. BLEU·ROUGE·METEOR·TER·CIDEr 등이 대표 지표다.
• 의미적 유사도(Semantic Similarity) — 임베딩 벡터 간 코사인 유사도로 측정하는 의미 차원의 유사도. 어휘가 다르더라도 의미가 같으면 높은 점수를 준다.
• AI 평가자(LLM-as-judge) — 다른 AI 모델의 응답을 평가하는 AI 모델. 2020년 GPT-3 출시 이후 본격 확산됐다.
• 비교 평가(Comparative Evaluation) — 두 모델을 직접 비교해 선호도를 수집하고 알고리즘으로 순위를 계산하는 방식. 2021년 Anthropic이 AI 분야에서 처음 도입했다.

1. 파운데이션 모델 평가가 어려운 이유

파운데이션 모델이 등장하면서 ML 평가의 어려움이 한층 깊어졌다. 구조적 이유는 네 가지다.

첫째, 모델이 강력해질수록 평가가 더 어려워진다. 초등 수학 오류는 누구나 잡아낼 수 있지만, 박사 수준의 추론 오류를 잡으려면 같은 수준의 전문 지식이 필요하다. 2024년 9월 OpenAI의 추론 모델(o1)이 출시됐을 때 필즈상 수상자 테렌스 타오는 이 모델과 일하는 경험을 "평범한 대학원생"과 일하는 것에 비유했다. 많은 사람이 "AI 모델을 평가하는 데 가장 뛰어난 사람의 지성이 필요하다면, 앞으로 평가할 자격을 갖춘 사람이 아무도 없을 것"이라고 농담했다.

둘째, 파운데이션 모델의 개방형 특성으로 인해 정답이 여럿이다. 전통적인 분류 모델은 예상 출력과 실제 출력을 단순 비교하면 됐다. 하지만 개방형 작업에서는 하나의 입력에 여럿의 정답이 존재해 가능한 모든 참조를 만들기가 불가능하다.

셋째, 대부분의 파운데이션 모델은 블랙박스다. 모델 아키텍처, 학습 데이터, 학습 과정 같은 세부 사항을 알 수 없으면 출력 결과만 보고 평가해야 한다.

넷째, 벤치마크가 너무 빨리 포화된다. GLUE(2018)는 1년 만에 최고 점수에 도달해 2019년 SuperGLUE로 대체됐다. NaturalInstructions(2021)는 Super NaturalInstructions(2022)로, MMLU(2020)는 대부분 MMLU-Pro(2024)로 대체됐다.

다섯째(범용 모델 추가 과제), 평가 범위가 확장됐다. 작업 특화 모델에서 평가는 학습된 작업의 성능 측정이면 충분했다. 범용 모델에서는 알려진 작업의 성능 평가뿐 아니라, 모델이 수행할 수 있는 새로운 작업을 발견하는 것도 포함된다.

평가에 대한 투자 부족은 도구 수로 드러난다. 깃허브 인기 저장소 상위 1,000개를 분석한 결과(2024년 5월 기준), 평가 관련 저장소(50개 이상)는 모델링·오케스트레이션 도구에 비해 현저히 적다. 2023년 상반기 LLM 평가 관련 논문은 월 2편에서 거의 30편으로 급증했지만, 딥마인드의 Balduri는 "알고리즘 개발에 비해 평가 개발은 체계적인 관심을 거의 받지 못했다"고 지적했다. Anthropic은 평가에 대한 정부 자금과 보조금을 늘리도록 정책 입안자들에게 요청했다.

2. 언어 모델링 지표 — 엔트로피와 퍼플렉시티

언어 모델은 클로드 섀넌이 1951년 논문 "Prediction and Entropy of Printed English"에서 대중화한 이후 수십 년간 존재해 왔다. 대부분의 자기회귀 언어 모델은 교차 엔트로피와 퍼플렉시티를 학습 지표로 사용한다. 이 두 지표와 함께 BPC, BPB가 자주 등장하는데 모두 교차 엔트로피의 변형이다. 이 네 지표는 밀접하게 연관되어 있어 하나의 값으로 나머지 셋을 계산할 수 있다.

엔트로피 — 정보량의 척도. 엔트로피는 토큰이 평균적으로 얼마나 많은 정보를 담고 있는지 측정한다. 정사각형 내 위치를 설명하는 언어를 예로 들면, 토큰이 2개인 언어는 엔트로피가 1이고, 토큰이 4개면 엔트로피가 2다. 엔트로피가 낮을수록 다음에 올 토큰을 예측하기 쉽고, 높을수록 어렵다.

교차 엔트로피 — 모델이 데이터를 얼마나 예측하기 어려워하는가. P를 학습 데이터의 실제 분포, Q를 모델이 학습한 분포라 하면 다음이 성립한다.

H(P, Q) = H(P) + D_KL(P||Q)

모델이 학습 데이터를 완벽하게 학습하면 KL 발산이 0이 되어 교차 엔트로피가 데이터 자체의 엔트로피와 같아진다. 이 때문에 교차 엔트로피는 학습 데이터 분포의 근삿값으로 볼 수 있다. 교차 엔트로피는 비대칭적이다 — H(P,Q) ≠ H(Q,P).

BPC와 BPB — 모델 간 비교를 위한 정규화. 모델마다 토큰화 방식이 달라 토큰당 비트 수만으로는 모델을 비교할 수 없다.

• BPC = 교차 엔트로피 / 문자당 토큰 수. (예: 교차 엔트로피 6비트, 토큰 1개 = 2문자이면 BPC = 3)
• BPC의 한계: 문자 인코딩 방식이 다양하다(ASCII는 7비트, UTF-8은 8~32비트).
• BPB = BPC / (문자 비트 / 8). (예: BPC = 3, 각 문자 = 7비트 ASCII이면 BPB = 3 / (7/8) ≈ 3.43)
• BPB가 3.43이면 원본 1바이트(8비트)를 3.43비트로 압축할 수 있다는 의미다 — 원본의 절반 이하로 압축.

퍼플렉시티 — 불확실성의 정량화. 퍼플렉시티는 엔트로피와 교차 엔트로피의 지수 함수다.

PPL(P, Q) = 2^H(P, Q)   (비트 단위)
PPL(P, Q) = e^H(P, Q)   (nat 단위 — TensorFlow·PyTorch 기본)

4개의 위치 토큰을 완벽하게 인코딩하도록 학습된 모델의 교차 엔트로피는 2비트이고, 퍼플렉시티는 2^2 = 4다. 오픈AI의 GPT-2 보고서에서 더 큰 모델(1,542M 파라미터, PPL 8.63)이 작은 모델(117M 파라미터, PPL 35.13)보다 일관되게 낮은 퍼플렉시티를 보였다.

퍼플렉시티 해석 규칙 세 가지: 1. 구조화된 데이터일수록 퍼플렉시티가 낮다 — HTML 코드는 일상 텍스트보다 예측하기 쉽다. 2. 어휘 크기가 클수록 퍼플렉시티가 높다 — 선택 가능한 토큰이 많을수록 예측이 어렵다. 동일한 모델도 전쟁과 평화보다 아동용 도서를 예측할 때 퍼플렉시티가 낮다. 3. 컨텍스트 길이가 길수록 퍼플렉시티가 낮다 — 참고 토큰이 많을수록 다음 토큰 예측이 쉬워진다. 섀넌은 1951년에 이전 10개 이내 토큰을 참고했지만, 현재 모델은 500~10,000개 이상을 참고한다.

퍼플렉시티 값이 3이라는 것은 모델이 다음 토큰을 맞출 확률이 1/3이라는 뜻이다. 어휘 크기가 수만에서 수십만 개임을 감안하면 놀라운 수준이다.

주의 — 사후 학습 모델의 퍼플렉시티 한계: 퍼플렉시티는 SFT와 RLHF 같은 기법을 사용해 사후 학습된 모델에는 적절하지 않을 수 있다. 사후 학습은 다음 토큰 예측 능력보다 특정 작업 수행 능력을 높이는 방향으로 학습된다. 실제로 언어 모델은 사후 학습 후에 퍼플렉시티가 높아지는 경향이 있다. 일부는 "사후 학습이 엔트로피를 붕괴시킨다"고 표현한다. 양자화(7장)도 예상치 못한 방식으로 퍼플렉시티를 변화시킬 수 있다.

3. 퍼플렉시티의 실무 활용

퍼플렉시티는 학습 지표 외에도 다양한 AI 엔지니어링 작업에서 쓰인다.

① 간접 성능 지표: 다음 토큰을 잘 예측하지 못하는 모델은 다른 작업에서도 성능이 낮을 가능성이 높다. GPT-2 보고서에서 더 큰 모델이 더 낮은 퍼플렉시티를 보이며 모델 규모와 성능 간 관계를 보여줬다. 안타깝게도 기업들이 자사 모델의 퍼플렉시티를 점점 공개하지 않는 추세다.

② 데이터 오염 탐지: 모델이 특정 텍스트에 낮은 퍼플렉시티를 보인다면 그 텍스트가 학습 데이터에 포함됐을 가능성이 높다. 이는 해당 벤치마크의 평가 신뢰도를 낮춘다. 이것이 데이터 오염을 탐지하는 핵심 원리다.

③ 학습 데이터 중복 제거: 새 데이터의 퍼플렉시티가 충분히 높을 때만 기존 학습 데이터셋에 추가하는 방식이다. 퍼플렉시티가 낮으면 이미 유사한 데이터가 있다는 의미다.

④ 비정상 텍스트 탐지: "우리 강아지는 여가 시간에 양자역학을 가르친다"같은 특이한 텍스트나 "집 고양이 가다 눈처럼"같은 의미 없는 텍스트는 높은 퍼플렉시티를 보인다.

퍼플렉시티를 계산하려면 모델이 각 다음 토큰을 예측할 때의 확률값(또는 로그 확률)을 알 수 있어야 한다. 모든 상용 모델이 이런 확률값을 공개하지는 않는다.

4. 정확한 평가 — 기능적 정확성

정확한 평가는 모호함 없이 판단을 내린다. 객관식 정답이 A인데 B를 선택했다면 명백히 틀렸다. 이 절에서는 개방형 응답에 대한 정확한 평가 방식을 다룬다.

기능적 정확성 — 의도한 대로 동작하는가. 시스템이 의도한 기능을 실제로 수행하는지 측정한다. 코드 생성에서는 실행 정확도가 핵심으로, HumanEval(OpenAI)과 MBPP(Google)가 대표 벤치마크다. 텍스트-SQL 변환(Spider·BIRD-SQL·WikiSQL)도 기능적 정확성을 사용한다.

pass@k 계산 방식: - 모델이 생성한 k개의 코드 샘플 중 하나라도 해당 문제의 모든 테스트 케이스를 통과하면 해결한 것으로 본다. - 최종 점수 pass@k = 전체 문제 중 해결한 문제의 비율. - 10개의 문제가 있고 k=3일 때 5개를 해결했다면 pass@3 = 50%. - pass@1 < pass@3 < pass@10 — 생성 샘플이 많을수록 점수가 높아진다.

# HumanEval 문제 예시
from typing import List
def has_close_elements(numbers: List[float], threshold: float) -> bool:
    """주어진 수 목록에서 서로 주어진 임계값보다 더 가까운 두 수가 있는지 확인한다."""

# 테스트 케이스
def check(candidate):
    assert candidate([1.0, 2.0, 3.9, 4.0, 5.0, 2.2], 0.3) == True
    assert candidate([1.0, 2.0, 3.9, 4.0, 5.0, 2.2], 0.05) == False
    assert candidate([1.0, 2.0, 5.9, 4.0, 5.0], 0.95) == True

기능적 정확성을 자동으로 평가할 수 있는 다른 예: 게임 봇의 점수, 에너지 최적화 작업의 절약량. 측정 가능한 목표가 있는 작업은 대부분 기능적 정확성으로 평가할 수 있다.

5. 정확한 평가 — 참조 데이터 유사도 측정

기능적 정확성으로 자동 평가할 수 없는 작업에서는 AI 출력을 참조 데이터와 비교하는 방식이 일반적이다. 참조 데이터의 각 예시는 (입력, 참조 응답) 형식이며, 하나의 입력에 여러 참조 응답이 있을 수 있다.

참조 기반 지표 vs 참조 없는 지표. 참조가 필요한 평가 지표는 참조 기반 지표, 그렇지 않은 것은 참조 없는 지표라고 한다.

두 개방형 텍스트 간의 유사도를 측정하는 방법 네 가지: 1. 비교: 평가자에게 두 텍스트가 같은지 판단하도록 요청 2. 정확한 일치 3. 어휘적 유사도 4. 의미적 유사도

정확한 일치. 생성된 응답이 참조 응답 중 하나와 정확히 일치하면 정답으로 본다. 단순 수학 문제, 일반 상식 질의처럼 짧고 정확한 응답을 기대하는 작업에만 적합하다. 'Comment ca va?'에 대한 영어 번역이 'How are you?'·'How is everything?'·'How are you doing?'·'How is it going?' 등 여럿이 가능한 것처럼, 복잡한 작업에서는 정확한 일치가 거의 작동하지 않는다.

참조 답안 포함 방식의 함정: "안네 프랑크는 언제 태어났나요?"에 대해 모델이 "1929년 9월 12일"이라고 응답하면, 정답 연도(1929)가 포함되어 정답으로 인정하지만 사실은 틀린 답이다.

어휘적 유사도 — n-gram 겹침. 두 텍스트가 공통으로 가진 단어·n-gram의 비율을 측정한다. 일반적 지표: BLEU, ROUGE, METEOR, TER, CIDEr.

참조: "My cats scare the mice"
응답 A: "My cats eat the mice"    → 4/5 = 80% (유사도 높음)
응답 B: "Cats and mice fight all the time" → 3/5 = 60% (유사도 낮음)

어휘적 유사도의 한계 두 가지: - 포괄적인 참조 응답 세트 필요: 참조 세트에 비슷한 응답이 없으면 올바른 응답도 낮은 점수를 받는다. Adept의 Fuyu 사례 — 빅벤과 국회의사당의 야경을 정확하게 캡션했지만 참조 캡션에 빅벤이 언급되지 않아 CIDEr 점수 0.4를 받았다. - 어휘적 유사도가 높다고 기능적으로 올바른 것은 아니다: HumanEval에서 BLEU 점수와 기능적 정확성 간 낮은 상관관계 확인. - WMT 2023 Metrics 공유 작업에서 참조 번역에 오류가 많다는 것이 발견됐다. 참조 없는 평가 방식이 참조 기반 방식에 필적하는 성능을 보인 이유 중 하나다.

의미적 유사도 — 임베딩 비교. 'What's up?'과 'How are you?'는 어휘가 다르지만 의미가 같다. 반대로 'Let's eat, grandma'와 'Let's eat grandma'는 비슷해 보이지만 완전히 다른 의미다. 의미 차원의 유사도를 측정하기 위해 텍스트를 임베딩 벡터로 변환한 뒤 코사인 유사도로 비교한다.

코사인 유사도(A, B) = (A·B) / (||A|| × ||B||)
A = [0.11, 0.02, 0.54]이면 ||A|| = √(0.11² + 0.02² + 0.54²)

대표 지표: BERTScore(BERT 임베딩), MoverScore(복수 알고리즘 조합). 신뢰성은 기반 임베딩 알고리즘의 품질에 달려 있다.

의미적 유사도는 어휘적 유사도만큼 포괄적인 참조 응답 세트를 필요로 하지 않는다. 하지만 기반 임베딩 알고리즘을 실행하는 데 상당한 계산 능력과 시간이 필요할 수 있다.

유사도 측정의 다양한 활용: - 검색과 서치: 질의와 유사한 항목 찾기 - 순위 매기기: 유사도 기준으로 순위 매기기 - 군집화: 항목 간 유사도를 기준으로 군집화 - 이상 탐지: 나머지 항목들과 유사도가 낮은 항목 탐지 - 데이터 중복 제거: 다른 항목들과 유사도가 높은 항목 제거

6. 임베딩 소개

컴퓨터는 숫자로 작동하기 때문에 모델은 입력을 숫자 표현으로 변환해야 한다. 임베딩은 원본 데이터의 의미를 담으려는 숫자 벡터 표현이다.

실제 임베딩 벡터 크기는 보통 100에서 10,000 사이다. 10,000 차원의 벡터 공간은 높은 차원처럼 보이지만, 원본 데이터의 차원보다는 훨씬 낮다.

대표 임베딩 모델 (원서 2024년 기준):

임베딩 전용 모델 외에도 GPT, Llama 같은 모델은 입력을 먼저 벡터로 표현해야 하므로 임베딩 생성 단계를 포함한다. 중간 층에 접근할 수 있다면 임베딩을 추출하는 데 사용할 수 있지만, 임베딩 전용 모델이 생성한 임베딩만큼 좋지 않을 수 있다.

임베딩 품질 평가. 더 비슷한 텍스트의 임베딩이 더 가까우면 좋은 알고리즘이다. 'the cat sits on a mat'의 임베딩은 'AI research is super fun'보다 'the dog plays on the grass'에 더 가까워야 한다. MTEB(Massive Text Embedding Benchmark)는 여러 작업에서 임베딩 품질을 종합 측정하는 대표 벤치마크다.

CLIP — 멀티모달 임베딩의 시작. CLIP(대조적 언어-이미지 사전 학습)은 텍스트와 이미지라는 서로 다른 데이터 유형을 하나의 통합 임베딩 공간으로 매핑할 수 있었던 첫 주요 모델 중 하나다. (이미지, 텍스트) 쌍으로 학습하며 학습 목표는 동일 쌍의 임베딩을 가깝게 만드는 것이다.

멀티모달 임베딩의 확장: - ULIP(Xue et al., 2022) — 텍스트, 이미지, 3D 포인트 클라우드의 통합 표현 - ImageBind(Girdhar et al., 2023) — 텍스트, 이미지, 오디오를 포함한 여섯 가지 데이터 유형의 통합 임베딩

통합 임베딩 공간 덕분에 텍스트로 이미지를 검색하는 것이 가능해진다. 텍스트-이미지 통합 임베딩 공간에서 낚시하는 남자의 이미지 임베딩은 '패션쇼'보다 '어부'라는 텍스트의 임베딩과 더 가까워야 한다.

7. AI 평가자 — 사용법과 장점

개방형 응답 평가가 어렵다 보니 많은 팀이 AI를 평가자로 사용하게 됐다. AI 평가자(LLM-as-judge)는 다른 AI 모델의 응답을 평가하는 AI 모델이다. AI를 사용해 평가를 자동화하는 아이디어는 오래전부터 있었지만, AI 모델이 제대로 수행할 만한 수준에 도달한 것은 2020년 GPT-3가 출시되면서였다. 2023년 LangChain의 AI 현황 보고서에 따르면 플랫폼 평가의 58%가 AI 평가자로 수행됐다.

AI 평가자의 세 가지 사용 방식:

# 방식 1: 독립 점수 (1~5점)
"다음 질의와 응답이 주어졌을 때, 응답이 질의에 대해 얼마나 좋은지 평가하시오.
1점(매우 나쁨)~5점(매우 좋음) 점수를 사용하시오.
질의: [질의]  응답: [응답]"

# 방식 2: 참조 비교 (True/False)
"다음 질의, 참조 응답, 생성된 응답이 주어졌을 때,
이 생성된 응답이 참조 응답과 같은지 True 또는 False를 출력하시오."

# 방식 3: A/B 선택
"다음 질의와 두 응답이 주어졌을 때, 어느 응답이 더 나은지 A 또는 B를 출력하시오."

수집된 선호도 데이터는 사후 학습(2장)과 테스트 시점 연산, 비교 평가에 활용된다.

AI 평가자 프롬프트 설계 필수 요소 세 가지: 1. 수행할 작업 명시 (예: 응답과 질의 간의 관련성 평가) 2. 따라야 할 기준 (구체적일수록 좋음) 3. 점수 체계 선택: - 분류: 좋음/나쁨, 관련됨/관련 없음 (일관성 가장 높음) - 이산 수치: 1~5점 (분류의 특수한 형태) - 연속 수치: 0~1 사이 (일관성 가장 낮음)

각 점수에 해당하는 응답 예시를 포함하면 성능이 향상된다. AI 평가자는 단순히 모델만 있는 것이 아니라 모델과 프롬프트를 모두 포함하는 시스템이다. 모델, 프롬프트, 샘플링 파라미터를 변경하면 다른 평가자가 된다.

범용 AI 평가자는 어떤 기준으로도 평가 가능하다: 역할 연기 챗봇에 "이 대답이 간달프가 할 법한 말인가요?", 제품 홍보 이미지 앱에 "이 이미지 속 제품이 얼마나 신뢰감이 있나요?"

AI 도구별 내장 평가 기준 (원서 2024년 9월 기준):

AI 평가 기준은 표준화되어 있지 않다. Azure AI Foundry의 관련성 점수는 MLflow의 관련성 점수와 매우 다를 수 있다.

AI 평가자와 사람의 높은 상관관계 (원서 인용 연구): - MT-Bench 연구(Zheng et al., 2023): 특정 AI 평가자와 사람의 일치도 85%, 사람들 간 일치도(81%)보다 높음 - AlpacaEval 연구(Dubois et al., 2023): AI 평가자가 LMSYS 챗봇 아레나 리더보드와 0.98 상관관계

8. AI 평가자의 한계와 편향

비일관성. AI 평가자는 확률적이라 같은 평가자가 같은 입력으로도 다른 점수를 줄 수 있다. 원서 인용 연구(Zheng et al., 2023)에 따르면 프롬프트에 평가 예시를 포함하면 특정 평가자의 일관성이 65%에서 77.5%로 향상되지만, 비용이 4배 증가한다. 단, 높은 일관성이 높은 정확도를 의미하지는 않는다 — 평가자가 같은 실수를 일관되게 할 수도 있다.

평가 기준의 모호성. MLflow, Ragas, LlamaIndex는 모두 '충실성'이라는 같은 기준을 가지고 있지만 점수 체계가 각각 1~5점, 0~1, Yes/No로 달라 서로 비교할 수 없다.

모델과 평가자에 사용된 프롬프트를 볼 수 없다면 어떤 AI 평가자도 신뢰하지 마라.

비용과 지연 시간 증가. 강력한 LLM으로 응답을 생성하고 평가까지 한다면 API 호출이 두 배가 되어 비용도 거의 두 배로 늘어난다. 세 가지 기준을 평가하기 위해 세 개의 평가 프롬프트를 사용한다면 API 호출 횟수는 4배로 늘어난다. 평가 비용이 전체 예산의 대부분을 차지하며, 때로는 응답 생성 비용보다 더 클 수도 있다.

AI 평가자의 편향 세 가지 (원서 연구 인용):

자기 편향(self-bias): 모델이 다른 모델의 응답보다 자신의 응답을 선호한다. Zheng 등(2023) 연구에서 특정 상용 평가자는 자신의 응답에 10% 더 높은 점수를, 다른 평가자(Claude v1)는 25% 더 높은 점수를 줬다.

위치 편향: AI 평가자는 비교에서 첫 번째 응답을 선호하는 경향이 있다(사람은 반대로 마지막 것을 선호 — 최근성 편향). 순서를 바꿔가며 반복 테스트로 완화할 수 있다.

장황성 편향(verbosity bias): 품질과 관계없이 더 긴 응답을 선호한다. Wu & Aji(2023) 연구에서 특정 상용 평가자들이 정확하지만 짧은 응답(약 50단어)보다 부정확하지만 긴 응답(약 100단어)을 선호한다는 것이 발견됐다. Saito 등(2023)은 한 응답이 다른 것보다 두 배 길 때 평가자는 거의 항상 더 긴 것을 선호한다는 것을 발견했다. 사람도 더 긴 응답을 선호하는 경향이 있지만 훨씬 덜하다. 모델이 더 강력해질수록 이런 편향이 줄어드는 경향이 있다.

개인정보·지적재산권 제약. 상용 모델을 평가자로 사용한다면 데이터를 해당 모델에 보내야 한다. 모델 제공업체가 학습 데이터를 공개하지 않으면 그 평가자를 상업적으로 안전하게 사용할 수 있는지 확신하기 어렵다.

9. 특화 평가자

범용 AI 평가자와 달리, 특화 평가자는 특정 기준과 특정 점수 체계를 사용해 특정 판단을 하도록 학습된다. 작고 특화된 평가자는 특정 판단에 있어서 더 크고 범용적인 평가자보다 더 신뢰할 수 있다.

평가자 강도 선택의 트레이드오프: - 더 강력한 평가자: 더 나은 판단 가능. 하지만 가장 강력한 모델을 평가할 만한 평가자를 찾을 수 없는 문제가 있다. - 더 약한 평가자: 비용이 적게 든다. 평가가 생성보다 쉬운 작업이라는 주장이 있다 — 노래가 좋은지 판단하는 것은 누구나 할 수 있지만, 직접 노래를 만들 수 있는 사람은 많지 않다. - 자기 평가(self-evaluation): 기본 검증에 유용하다. 자기 편향 때문에 한계가 있지만, 모델에게 자기 평가를 요청하면 응답을 수정하고 개선하도록 유도할 수 있다.

# 자기 평가 예시 (원서 인용)
프롬프트: "10+3은 얼마인가요?"
첫 번째 응답: 30
자기 비평: "이 답이 맞나요?"
최종 응답: "아니요, 틀렸습니다. 정답은 13입니다."

보상 모델(Reward Model). (프롬프트, 응답) 쌍을 입력으로 받아 품질 점수를 출력한다. RLHF에서 수년간 성공적으로 사용되어 왔다. 구글의 Cappy(2023)는 (프롬프트, 응답) 쌍이 주어지면 0~1 사이의 점수를 출력하는 경량 평가 모델(3.6억 파라미터)이다.

참조 기반 평가자. 생성된 응답을 하나 이상의 참조 응답을 기준으로 평가한다. - BLEURT(Sellam et al., 2020): (후보 응답, 참조 응답) 쌍을 입력으로 받아 유사도 점수를 출력. 점수 범위는 약 -2.5에서 1.0이지만 임의로 정해질 수 있어 해석에 주의가 필요하다. - Prometheus(Kim et al., 2023): (프롬프트, 생성된 응답, 참조 응답, 채점 기준)을 입력으로 받아 1~5점 품질 점수를 출력한다.

선호도 모델(Preference Model). (프롬프트, 응답 1, 응답 2)를 입력으로 받아 어느 응답이 더 나은지 출력한다. 사람의 선호도를 정확히 예측할 수 있다면 전반적인 평가가 수월해지고 모델을 더 안전하게 활용할 수 있다. PandaLM, JudgeLM 등 많은 시도가 있었다.

10. 비교 평가를 통한 모델 순위 정하기

모델을 평가하는 목적은 점수 자체보다 어떤 모델이 적합한지 아는 것인 경우가 많다.

개별 평가 vs 비교 평가: - 개별 평가: 각 모델을 독립적으로 평가해 점수로 순위를 매긴다. 댄서 각자를 평가해 점수를 매기는 것과 같다. - 비교 평가: 모델들을 직접 비교해 선호도를 수집하고 알고리즘으로 순위를 계산한다. 모든 댄서가 나란히 춤을 추게 하고 더 나은 쪽에 투표하는 것과 같다.

응답의 품질이 주관적일 때는 개별 평가보다 비교 평가가 더 쉽다. 두 노래 중 어느 것이 더 나은지 판단하는 것이 각 노래에 구체적인 점수를 매기는 것보다 쉽다.

비교 평가 알고리즘. AI 분야에서 비교 평가는 2021년 Anthropic이 처음 사용했으며, LMSYS 챗봇 아레나도 이 방식으로 운영된다. 스포츠와 비디오 게임 분야에서 개발된 알고리즘을 AI 모델 평가에 응용한다.

LMSYS는 처음 Elo를 쓰다가 평가자와 프롬프트 순서에 민감하다는 점을 발견하고 Bradley-Terry로 전환했다. Bradley-Terry 점수는 Elo처럼 보이도록 조정됐다(각 점수 × 400 + 1000, 라마-13b 점수가 800이 되도록 재조정).

순위의 품질은 미래 경기 결과를 얼마나 잘 예측하는지로 결정된다.

비교 평가에서 선호도 수집의 한계: - 정확성이 필요한 질의에는 선호도 투표가 잘못된 신호를 줄 수 있다. - 사용자가 모르는 일을 AI에게 요청하는 경우에는 선호도 투표가 적절하지 않다. - 비교 평가는 A/B 테스트와 다르다: A/B 테스트는 사용자가 한 번에 하나의 후보 모델의 출력만 보는 반면, 비교 평가는 여러 모델의 출력을 한꺼번에 보고 비교한다.

11. 비교 평가의 세 가지 과제

확장성 병목. 비교할 모델 쌍의 수는 모델 수의 제곱에 비례해 증가한다. 2024년 1월 LMSYS는 57개 모델을 244,000번 비교했는데 모델 쌍당 평균 153번에 불과했다(57개 모델 = 1,596개 모델 쌍).

전이성으로 완화: 순위 알고리즘은 보통 전이성을 가정한다. A가 B보다 낫고 B가 C보다 낫다면 A와 C를 직접 비교하지 않아도 된다. 하지만 이런 전이성 가정이 AI 모델에도 적용되는지는 불분명하다. Boubdir 등(2023), Balduri 등(2018), Munos 등(2023)은 사람의 선호도가 반드시 전이성을 가지지는 않는다고 주장한다.

효율적 매칭 알고리즘으로 완화: 결과를 확신할 수 있는 모델 쌍은 더 이상 매칭할 필요가 없다. 전체 순위의 불확실성을 최대한 줄일 수 있는 경기를 선택하는 것이 효율적인 알고리즘이다.

표준화와 품질 관리의 부재. LMSYS 챗봇 아레나의 33,000개 프롬프트 중 180개가 'hello'와 'hi'로 데이터의 0.55% 차지(변형 포함 안 함). 단순한 프롬프트는 응답의 난이도가 낮아 모델들의 성능 차이를 구별하기 어렵다.

표준화 강제 방법들: - 내부 모델을 사용해 어려운 프롬프트만 순위 매기기 (LMSYS 도입) - 신뢰할 수 있는 평가자만 사용 (Scale AI 비공개 비교 순위표 방식) - 제품에 통합해 실제 작업 중 평가

일부 팀은 사람 평가자보다 AI를 선호한다. AI가 숙련된 전문가만큼 뛰어나지는 않더라도, 무작위 인터넷 사용자보다는 더 신뢰할 수 있기 때문이다.

비교 성능에서 절대 성능으로. 비교 평가는 어떤 모델이 더 나은지는 알려주지만 충분히 좋은지는 알려주지 않는다.

모델 B가 모델 A보다 낫다는 순위가 주어졌을 때 가능한 시나리오:
1. 모델 B는 좋지만 모델 A는 나쁘다.
2. 모델 A와 B 모두 나쁘다.
3. 모델 A와 B 모두 좋다.
→ 어느 시나리오인지 알려면 다른 형태의 평가가 필요하다.

승률이 1% 변하면 어떤 애플리케이션에서는 성능이 크게 향상되지만 다른 애플리케이션에서는 미미한 향상만 있었다. 비용 같은 요소도 함께 고려해야 한다.

12. 비교 평가의 미래

비교 평가에는 여러 한계가 있지만 다음 장점들 때문에 계속 사용될 것이다.

장점 1 — 포화 없음: 점수 기반 벤치마크는 모델이 만점을 받으면 쓸모 없어지지만, 비교 평가는 더 강력한 모델이 등장해도 계속 유효하다. 모델이 인간의 성능을 뛰어넘어도 사람 평가자는 여전히 두 응답의 차이를 구별할 수 있다. Llama 2 논문(Touvron et al., 2023)은 모델이 최고 사람 평가자의 능력을 넘어서는 글쓰기를 시도할 때에도 사람들이 여전히 가치 있는 피드백을 제공할 수 있다고 밝혔다.

장점 2 — 사람의 선호도를 직접 파악: AI의 끊임없이 확장되는 능력을 따라잡기 위해 계속해서 새로운 벤치마크를 만들어야 하는 부담을 줄여준다.

장점 3 — 조작 어려움: 참조 데이터로 모델을 학습시키는 것 같은 편법을 쓰기 어렵다. 많은 사람이 다른 어떤 공개 순위표보다 공개 비교 순위표의 결과를 더 신뢰한다.

장점 4 — 다른 방법으로는 알 수 없는 차이 발견: 오프라인 평가에서는 기존 벤치마크의 부족한 점을 채워주고, 온라인 평가에서는 A/B 테스트를 보완하는 역할을 한다.

핵심 개념 정리

실무 체크리스트

• [ ] 사용 중인 모델의 퍼플렉시티가 공개되어 있는가? 해당 벤치마크가 학습 데이터에 포함됐을 가능성은 없는가? (데이터 오염 탐지)
• [ ] 사후 학습(SFT, RLHF) 모델을 퍼플렉시티로 평가하고 있지 않은가?
• [ ] 코드 생성 작업에서 BLEU 대신 pass@k를 주요 지표로 쓰고 있는가?
• [ ] 어휘적 유사도 평가 시 참조 데이터가 충분히 포괄적인가? 오류가 포함된 참조는 아닌가?
• [ ] AI 평가자 프롬프트에 작업·기준·점수 체계·예시가 모두 명시되어 있는가?
• [ ] 점수 체계는 연속 수치보다 분류 또는 이산 수치를 사용하고 있는가?
• [ ] AI 평가자의 자기 편향·위치 편향·장황성 편향을 인식하고 있는가?
• [ ] AI 평가자의 프롬프트와 모델을 버전 관리하여 시간에 따른 평가 일관성을 보장하는가?
• [ ] 모델과 평가자에 사용된 프롬프트를 볼 수 없는 AI 평가자를 맹신하지 않는가?
• [ ] 비교 평가에서 어느 모델이 더 나은지(상대 성능)와 충분히 좋은지(절대 성능)를 구분하고 있는가?
• [ ] 크라우드소싱 비교 평가에서 단순 프롬프트('hello', 'hi' 등)로 인한 노이즈를 필터링하는 방법이 있는가?

연습문제

1. 개념. 퍼플렉시티가 낮을수록 좋은 모델이라고 단정할 수 없는 두 가지 상황을 설명하라. (사후 학습 모델, 데이터 오염 케이스를 포함해 설명)

2. 계산. 어떤 언어 모델의 토큰당 교차 엔트로피가 6비트이고 각 토큰이 평균 2문자로 이루어졌을 때, BPC는 얼마인가? 각 문자가 7비트 ASCII라면 BPB는?

3. 비교. Adept의 Fuyu가 빅벤과 국회의사당의 야경을 정확하게 캡션했지만 CIDEr 점수 0.4를 받은 사례를 바탕으로, 어휘적 유사도의 한계와 이를 보완하는 의미적 유사도의 강점·한계를 설명하라.

4. 분석. AI 평가자의 장황성 편향이 RAG 시스템 평가에 미치는 영향을 설명하고, 이를 완화하기 위한 프롬프트 설계 방법을 제안하라.

5. 설계. 100개 모델의 비교 평가 순위를 매기는 시스템을 설계한다면, 확장성 병목을 줄이기 위해 사용할 수 있는 두 가지 전략을 설명하라. (전이성 활용, 효율적 매칭 알고리즘 중 하나 이상 포함)

최신 동향 (2026-05 기준)

최신 동향 (검증 2026-05-21) — 평가 방법론은 책 내용이 유효하다. 최근 추가된 주목할 벤치마크로 SimpleQA(사실성), GPQA Diamond(고난도 추론), FrontierMath(수학)를 함께 참고하면 좋다. LMSYS 챗봇 아레나의 비교 평가 방식은 업계 표준으로 자리잡았으며, Bradley-Terry 알고리즘 기반 순위표가 계속 활용되고 있다.

부록 A. 용어 사전

부록 B. 핵심 비교표

어휘적 유사도 vs 의미적 유사도

개별 평가 vs 비교 평가

pass@k 계산 개념

AI 평가자 편향 요약

부록 C. 추천 참고 자료

검증된 외부 자료 (Tier 1 공식, 생존 확인 2026-05-21)

부록 D. 연습문제 풀이

1. (사후 학습 모델과 데이터 오염 두 상황에서 퍼플렉시티가 부적합하다.) 첫째, SFT·RLHF로 사후 학습된 모델은 다음 토큰 예측 능력보다 특정 작업 수행 능력을 높이는 방향으로 학습되므로, 사후 학습 후 퍼플렉시티가 오히려 높아지는 경향이 있다. 일부는 "사후 학습이 엔트로피를 붕괴시킨다"고 표현한다. 둘째, 모델이 평가 벤치마크 텍스트를 학습 데이터로 이미 학습했다면 해당 텍스트에 비정상적으로 낮은 퍼플렉시티를 보여 신뢰할 수 없는 수치가 나온다 — 이것이 데이터 오염 탐지에 퍼플렉시티를 역으로 활용하는 이유이기도 하다.

2. (BPC = 3비트/문자, BPB = 3.43비트/바이트) 토큰당 교차 엔트로피가 6비트이고 토큰 1개가 평균 2문자이므로 BPC = 6 / 2 = 3비트/문자다. 각 문자가 7비트 ASCII로 인코딩된다고 하면, BPB = BPC / (7/8) = 3 / (7/8) = 3 × 8/7 ≈ 3.43비트/바이트다. 이 BPB 3.43은 원본 1바이트(8비트)를 3.43비트로 압축할 수 있다는 의미다 — 원본의 절반 이하로 압축.

3. (BLEU·CIDEr는 참조 범위에 따라 올바른 응답을 오답 처리할 수 있다.) Adept의 Fuyu는 빅벤과 국회의사당의 야경을 정확하게 캡션했지만, 참조 캡션이 빅벤이나 의사당을 언급하지 않아 CIDEr 점수 0.4를 받았다. 이처럼 어휘적 유사도의 한계는 포괄적인 참조 응답 세트를 만들기 어렵다는 것이다. 의미적 유사도(BERTScore 등)는 어휘가 달라도 의미가 같으면 높은 점수를 줄 수 있어 이를 보완한다. 하지만 BERTScore도 기반 임베딩 모델의 품질에 신뢰성이 좌우된다는 한계가 있으며, WMT 2023 사례처럼 참조 데이터 자체에 오류가 있으면 두 지표 모두 신뢰하기 어렵다.

4. (장황성 편향은 RAG 시스템에서 검색 충실성을 과대평가하게 만든다.) AI 평가자는 품질과 무관하게 더 긴 응답을 선호하므로, 검색된 문서와 관련 없는 내용을 덧붙여 응답을 부풀린 모델이 간결하고 정확한 모델보다 높은 점수를 받을 수 있다. 한 응답이 다른 것보다 두 배 길면 평가자는 거의 항상 더 긴 것을 선호한다. 이를 완화하려면 프롬프트에 "응답 길이가 아니라 질의와의 관련성, 검색 문서 근거 여부"로 기준을 명확히 명시하고, 각 점수에 해당하는 짧고 정확한 응답 예시를 포함해 AI 평가자에게 점수 척도를 앵커링해야 한다. 점수 체계는 연속 수치보다 분류형(Yes/No 또는 1-5 이산 척도)이 일관성이 높다.

5. (전이성 활용과 효율적 매칭 알고리즘 두 가지 전략으로 확장성 병목을 줄일 수 있다.) 첫째, 전이성 가정(A > B, B > C이면 A > C)을 활용해 이미 순위가 크게 차이나는 모델 쌍 간의 비교는 생략하고, 순위가 인접한 모델 쌍에 비교를 집중한다. 단, 전이성 가정이 AI 평가에서 항상 성립하지 않는다는 한계가 있다. 둘째, Bradley-Terry나 TrueSkill 같은 알고리즘을 사용해 전체 순위의 불확실성을 최대한 줄일 수 있는 경기를 선택한다. 정보 이득이 높은 쌍(불확실성이 큰 쌍)을 우선 매칭하고, 결과를 확신할 수 있는 쌍은 비교를 생략한다. LMSYS는 Elo가 평가자와 프롬프트 순서에 민감하다는 한계 때문에 Bradley-Terry로 전환했다.